CAMIE: Co-Engagement-Aware Multimodal Item Embeddings for Snap Dynamic Product Ads Retrieval
CAMIE：面向 Snap 动态商品广告检索的协同参与多模态商品嵌入
🧭 多模态商品嵌入 · 协同参与对比学习召回 ★ 深度解读
Snap Inc.
用用户旅程中的共同参与对微调 LLM/MLLM 骨干，得到统一多模态商品嵌入并上线 Snap DPA
📌 工作参考价值（4 点）
- 用共同参与 pair 替代内容相似度监督：在电商/广告 I2I 召回中，从用户 Session 或归因窗口挖掘共现商品对（view/click/加购/购买均可），用对称 in-batch InfoNCE 微调商品编码器，比单纯内容相似度更贴近转化目标。业界常纠结“只保留高意图事件”，但该文证明：全漏斗事件带来的训练规模增益（+8.9% R@10）大于只保留加购/购买的事件纯度增益（+1.6%），可优先保规模。
- 一个 checkpoint 服务多模态 / 纯文本 / 纯图片三种召回面：通过 renderer 控制字段（image/title/brand/description/category），同一个 MLLM 骨干能同时支持多模态和文本检索。在 Snap 场景文本-only 仅比专用文本微调差 1.1pp R@10，可直接替换独立文本编码器；但纯图片 serving 明显弱于专门视觉塔，电商图像替代类召回建议保留专用 image encoder。
- 行为监督的增益大于骨干升级：对照实验表明，在相同的 co-engagement pair、目标函数、负样本、LoRA 设置下，SigLIP2 和 CLIP 双塔也能达到接近 CAMIE 的召回水平，说明业务里如果已有轻量双塔，优先把训练信号换成共同参与 pair，比急着换 LLM 骨干收益更稳；MLLM 的增量主要在文本侧和训练 headroom。
- 工程部署可复用：离线用 512 维 embedding，线上截取前 128 维匹配现有 ANN 索引，控制索引成本；对百万级商品目录用 10M 训练对即可达到较好效果，训练规模扩展到 100M 对进一步提升，适合电商场景逐步扩量。